Sobre a Curso-R

• Premissas:
  • big data e analytics são as buzzwords do momento.
  • Gostamos de trabalhar juntos.
  • Somos proficientes em R.
• Surgimento da empresa:
  • Motivação: contribuir com a comunidade.
  • http://curso-r.com/blog

Por que aprender R?

Por que aprender R?

R \(\iff\) Estatística

Ciclo da análise de dados segundo George Box

Por que aprender R?

R \(\iff\) Estatística

Ciclo da ciência de dados segundo Hadley Wickham

Outline

1. Fundamentos
2. Exemplos:
   1. Dados de criminalidade
   2. Informações sobre filmes
   3. (talvez) SABESP

web scraping

• Forma especial de import
• Propriedades:
  • Sistemático
  • Sem intervenção humana
• Propósitos:
  • Monitorar informações
  • Montar bases de dados

web scraping

• Exigências:
  • Muita análise de texto
  • Conhecimento sobre html
  • Conhecimento sobre o http

Protocolo http

Requisições do usuário

[metodo] [caminho do arquivo] HTTP/[versão]
[campo1]: [valor] 
[campo2]: [valor]
 
[corpo da requisição]

Resposta do servidor

HTTP/[versão] [código do status]
[campo1]: [valor] 
[campo2]: [valor]

[conteúdo]

Formatos comuns

• Requisições do usuário:
  • GET, que não tem corpo. Só recebe uma página.
  • POST, PUT, têm corpo. Recebe uma página em função de parâmetros.
  • Formulários
• Repostas:
  • Código do status: 404 é erro, 200 é sucesso, etc…

No R

• cURL é um software em C pra programar http em linhas de código
• Em R, cURL recebeu um port feito pelo Jeroen Ooms, criado em 2014.
• O Hadley Wickham fez uma API mais agradável no pacote httr

Os 4 passos do web scraping

1. Defina as páginas que você quer raspar.
2. Identifique exatamente as requisições que produzem o que você quer.
3. Construa um programa que imite as requisições que você faria manualmente.
4. Repita o passo 3. quantas vezes quiser.

Primeiro exemplo: SSP/SP

• Defina o que você quer coletar:
  • Origem: http://www.ssp.sp.gov.br/Estatistica/Pesquisa.aspx
  • Destinos: Variações de parâmetros

SSP/SP

• O que exatamente acontece?
  • POST parametrizado

SSP/SP

exemplo: rotten tomatoes

• O que eu quero coletar?
  • Informações sobre celebridades
  • Informações sobre seus filmes
  • Avaliações sobre seus filmes
• Páginas:
  • Origem: https://www.rottentomatoes.com/
  • Destinos: e.g. https://www.rottentomatoes.com/celebrity/tom_hanks

rotten tomatoes

• Descrevendo exatamente a comunicação:
  • Busca é feita na forma https://www.rottentomatoes.com/?seach=SUA+BUSCA
  • Como se forma o conteúdo da página?

rotten tomatoes

<div id="main_container" class="container ">
            <div class="col col-left-center col-full-xs">
            <div id="search-results-root"></div>
                    <script>
                        ...
                        {"actorCount":11,
                        "actors":[{
                          "name":"John Hughes",
                          "url":"/celebrity/1007319-john_hughes",
                          "image":".."}
                    </script>
            </div>
</div>

rotten tomatoes

• Como restringir a tabela final?